आज, अली क्लाउड की टोंगी टीम ने पूरी तरह से नए गणितीय तर्क प्रक्रिया इनाम मॉडल Qwen2.5-Math-PRM का आधिकारिक रूप से शुभारंभ किया। यह मॉडल 72B और 7B दो आकारों में उपलब्ध है, और इसके प्रदर्शन ने समान खुली स्रोत प्रक्रिया इनाम मॉडल की तुलना में स्पष्ट रूप से बेहतर परिणाम दिए हैं, विशेष रूप से तर्क की गलतियों की पहचान में। Qwen2.5-Math-PRM का 7B संस्करण ने उद्योग में प्रचलित GPT-4o को आश्चर्यजनक रूप से पार किया, यह उपलब्धि अली क्लाउड के तर्क मॉडल के विकास में महत्वपूर्ण कदम को दर्शाती है।

अलीबाबा Qwen टीम ने हाल ही में 'गणितीय तर्क में प्रक्रिया पुरस्कार मॉडल के विकास के अनुभव और सबक' शीर्षक से एक पत्र प्रकाशित किया और Qwen2.5-Math-PRM श्रृंखला के तहत दो नए मॉडल लॉन्च किए, जिनमें क्रमशः 7B और 72B पैरामीटर हैं। ये मॉडल गणितीय तर्क में मौजूदा PRM ढांचे की सीमाओं को पार करते हैं, अभिनव तकनीकों के माध्यम से तर्क मॉडल की सटीकता और सामान्यीकरण क्षमता में महत्वपूर्ण सुधार लाते हैं। गणितीय तर्क बड़े भाषा मॉडल (LLM) के लिए एक महत्वपूर्ण चुनौती रही है, खासकर मध्य तर्कात्मक चरणों में, जिसमें गलती होती है.

हाल ही में, अलीबाबा Qwen टीम के शोधकर्ताओं ने “PROCESSBENCH” नामक एक नया मापदंड प्रस्तुत किया, जिसका उद्देश्य भाषा मॉडल के गणितीय तर्क में प्रक्रिया त्रुटियों की पहचान करने की क्षमता को मापना है। जटिल तर्क कार्यों में भाषा मॉडल की उल्लेखनीय प्रगति के साथ, इस क्षेत्र के शोधकर्ताओं ने देखा है कि हालांकि मॉडल उत्कृष्ट प्रदर्शन कर रहे हैं, कुछ कठिन प्रश्नों को संभालने में उन्हें अभी भी चुनौतियों का सामना करना पड़ रहा है। इसलिए, एक प्रभावी पर्यवेक्षण विधि का विकास विशेष रूप से महत्वपूर्ण है। वर्तमान में, भाषा मॉडल के मूल्यांकन मापदंडों में कुछ कमियां हैं। एक पक्ष

कृत्रिम बुद्धिमत्ता के विशाल ब्रह्मांड में, गणित को मशीन बुद्धिमत्ता के अंतिम गढ़ के रूप में देखा जाता रहा है। अब, FrontierMath नामक एक नया मानक परीक्षण सामने आया है, जो AI की गणितीय तर्क क्षमता को अभूतपूर्व सीमाओं पर ले जा रहा है। Epoch AI ने 60 से अधिक गणित के शीर्ष मस्तिष्कों के साथ मिलकर इस AI चैलेंज को तैयार किया है, जिसे गणित की ओलंपिक कहा जा सकता है। यह सिर्फ एक तकनीकी परीक्षण नहीं है, बल्कि कृत्रिम बुद्धिमत्ता की गणितीय बुद्धि की अंतिम परीक्षा है। कल्पना कीजिए कि दुनिया के शीर्ष गणितज्ञों की एक प्रयोगशाला है, जहां उन्होंने ध्यानपूर्वक एक समस्या को डिजाइन किया है।

हाल ही में, AI बड़े भाषा मॉडल (LLM) ने विभिन्न कार्यों में उत्कृष्ट प्रदर्शन किया है, कविता लिखने, कोड लिखने और बातचीत करने में सक्षम हैं, ये सब कुछ कर सकते हैं! लेकिन, क्या आप विश्वास कर सकते हैं? ये 'जीनियस' AI वास्तव में 'गणित में नौसिखिए' हैं! जब ये सरल अंकगणित प्रश्नों को हल करने की कोशिश करते हैं, तो अक्सर ये फंस जाते हैं, जिससे लोग हैरान रह जाते हैं। एक हालिया अध्ययन ने LLM की गणितीय तर्क क्षमता के पीछे के 'अनोखे' रहस्य का पर्दाफाश किया: ये न तो शक्तिशाली एल्गोरिदम पर निर्भर करते हैं और न ही पूरी तरह से स्मृति पर, बल्कि एक रणनीति का उपयोग करते हैं जिसे 'कारगर मिश्रण' कहा जाता है!

चाँद की अंधेरी पक्ष पर Kimi स्मार्ट सहायक ने नई पीढ़ी का गणितीय तर्क मॉडल k0-math लॉन्च करने की घोषणा की। k0-math मॉडल ने कई गणितीय मानक क्षमताओं के परीक्षणों में उत्कृष्ट प्रदर्शन किया, इसके परिणाम एमएचटी, उच्च परीक्षा, प्रवेश परीक्षा और प्रतियोगिता प्रश्नों सहित चार गणितीय मानक परीक्षणों में OpenAI o1 श्रृंखला के o1-mini और o1-preview मॉडल से बेहतर रहे।

हाल ही में, एप्पल के शोधकर्ताओं ने बड़े भाषा मॉडलों (LLM) की गणितीय तर्क क्षमता पर गहन अध्ययन किया और GSM-Symbolic नामक एक नया मानक परीक्षण पेश किया। यह नया मानक परीक्षण GSM8K के आधार पर विकसित किया गया है, जिसे मुख्य रूप से मौलिक गणितीय क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया था। हालांकि कई LLM ने GSM8K पर बेहतर प्रदर्शन किया है, वैज्ञानिक समुदाय में इन मॉडलों की तर्क क्षमता के बारे में अभी भी संदेह है, और माना जाता है कि वर्तमान मूल्यांकन मानदंड उनके वास्तविक क्षमताओं को पूरी तरह से प्रतिबिंबित नहीं कर सकते।

कृत्रिम बुद्धिमत्ता की दुनिया में, मशीन लर्निंग मॉडल विशेष रूप से बड़े भाषा मॉडल (LLMs) की तर्क की क्षमता हमेशा वैज्ञानिकों का ध्यान केंद्रित रही है। हाल ही में, एप्पल की एआई अनुसंधान टीम ने एक पेपर प्रकाशित किया, जिसका शीर्षक है 'गणितीय तर्क में बड़े भाषा मॉडल की सीमाओं को समझना', जो हमें बताता है कि ये मॉडल तार्किक समस्याओं को हल करने में किस प्रकार सीमित हैं। इस पेपर में, शोधकर्ताओं ने एक साधारण गणितीय समस्या के माध्यम से इसे प्रदर्शित किया। उन्होंने पहले ओलिवर द्वारा कीवी फल तोड़ने से संबंधित एक प्रश्न प्रस्तुत किया: इस प्रकार: ओलिवर ने शुक्रवार को 44 कीवी तोड़े।

LMSYS संगठन के बड़े मॉडल प्रतिस्पर्धा - चैटबोट एरिना की नवीनतम रैंकिंग में, LMSYS चैटबोट एरिना की कुल रैंकिंग 11 है, जिसने Llama3-70B, Qwen2-72B, Nemotron-4-340B, Gemma2-27B जैसे कई ओपन-सोर्स मॉडलों को पार कर लिया है, और वैश्विक ओपन-सोर्स मॉडल में शीर्ष स्थान पर है। DeepSeek-V2-0628, 0507 संस्करण की तुलना में, कोड गणितीय तर्क, निर्देश पालन, भूमिका निभाने, JS में स्पष्ट रूप से सुधार किया है।